Jackson được sinh ra ở Washington, D.C. và lớn lên ở Chattanooga, Tennessee.[2]. Cha ông sống xa nhà, ở Kansas City, Missouri và sau đó thì chết do chứng nghiện rượu. Jackson chỉ gặp cha mình hai lần trong đời[3][4]. Jackson được nuôi dưỡng bởi mẹ, bà Elizabeth Jackson (nhũ danh Montgomery), từng là một công nhân nhà máy và sau đó làm cho một bệnh viện tâm thần, và cùng với ông bà ngoại trong một đại gia đình[3][5]. Theo như kết quả phân tích DNA, Jackson có một phần nguồn gốc là người Benga ở Gabon[6].